Видео с ютуба Moe Cache

Внутри llama.cpp: как запускать огромные MoE-модели (новый кэш экспертов)

llama.cpp PR #29887: GPU Cache for MoE Experts

The LRU Cache That Doubled Local MoE Speeds: llama.cpp Expert Offloading

llama.cpp PR #30637: SLRU Cache for MoE Models

Worst clutch in the history of CS by mOE

Run 125B Models on 8GB Ram: llama.cpp Expert Cache

Janas: Run MoE Models Larger Than RAM from Your SSD?

Your MoE Model Is 2× Slower Without This llama.cpp Flag

The MoE Trap: Why 3B Active Doesn't Mean 3GB of VRAM (Qwen 35B)

How KV Cache Speeds Up LLMs for Faster AI Models on GPUs

В llama.cpp добавили Expert Cache... Победит ли он Strata на 12 ГБ?!

llama.cpp's New MoE Cache Is 3× Faster on 16GB

KV Cache - Explained

llama.cpp увеличил скорость вашего GPU в 2 раза на больших моделях (включите это)

Broken in 12 Days: How a 1993 Idea Fixed llama.cpp MoE Caching

Объяснение маршрутизации токенов MoE: как работает система Mixture of Experts (с кодом)

llama.cpp runs MoE models up to 2.2x faster when VRAM runs out

Карта CACHE официально вернулась! (Новая карта)

Moe 30 Bomb On Cache!!!!

Why Deleting a 9.8 GB Cache Made This Local Model 38% Faster